<!DOCTYPE html>
<html>
<head>
  <meta charset="utf-8">
  
  <title>zookeeper协调原理 | Eetal&#39;s Blog</title>

  <!-- keywords -->
  

  <meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1">
  <meta name="description" content="欢迎查看Eetal的第二十四篇博客–zookeeper协调原理 CAP原理CAP原则又称CAP定理，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），三者不可兼得。一致性表示分布式系统中各个节点数据的一致性可用性代表数据访问的高性能分区容错性指的是因为同步的时间问题，数据不一致导致出现了多个不同数">
<meta property="og:type" content="article">
<meta property="og:title" content="zookeeper协调原理">
<meta property="og:url" content="http://eetal.gitee.io/blog/2019/07/19/zookeeper协调原理/index.html">
<meta property="og:site_name" content="Eetal&#39;s Blog">
<meta property="og:description" content="欢迎查看Eetal的第二十四篇博客–zookeeper协调原理 CAP原理CAP原则又称CAP定理，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），三者不可兼得。一致性表示分布式系统中各个节点数据的一致性可用性代表数据访问的高性能分区容错性指的是因为同步的时间问题，数据不一致导致出现了多个不同数">
<meta property="og:locale" content="default">
<meta property="og:updated_time" content="2019-07-19T13:33:50.363Z">
<meta name="twitter:card" content="summary">
<meta name="twitter:title" content="zookeeper协调原理">
<meta name="twitter:description" content="欢迎查看Eetal的第二十四篇博客–zookeeper协调原理 CAP原理CAP原则又称CAP定理，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），三者不可兼得。一致性表示分布式系统中各个节点数据的一致性可用性代表数据访问的高性能分区容错性指的是因为同步的时间问题，数据不一致导致出现了多个不同数">
  
    <link rel="alternative" href="/atom.xml" title="Eetal&#39;s Blog" type="application/atom+xml">
  
  
    <link rel="icon" href="http://www.yangyitao.top/FiveChess/resource/ico/favicon.ico">
  
  <link rel="stylesheet" href="/blog/css/style.css">
  
  

  <script src="//cdn.bootcss.com/require.js/2.3.2/require.min.js"></script>
  <script src="//cdn.bootcss.com/jquery/3.1.1/jquery.min.js"></script>

  
</head>
<body>
  <div id="container">
    <div id="particles-js"></div>
    <div class="left-col">
    <div class="overlay"></div>
<div class="intrude-less">
	<header id="header" class="inner">
		<a href="/" class="profilepic">
			
			<img lazy-src="/blog/images/head.jpg" class="js-avatar">
			
		</a>

		<hgroup>
		  <h1 class="header-author"><a href="/">Eetal</a></h1>
		</hgroup>

		
		<p class="header-subtitle">java coder</p>
		

		
			<div class="switch-btn">
				<div class="icon">
					<div class="icon-ctn">
						<div class="icon-wrap icon-house" data-idx="0">
							<div class="birdhouse"></div>
							<div class="birdhouse_holes"></div>
						</div>
						<div class="icon-wrap icon-ribbon hide" data-idx="1">
							<div class="ribbon"></div>
						</div>
						
						<div class="icon-wrap icon-link hide" data-idx="2">
							<div class="loopback_l"></div>
							<div class="loopback_r"></div>
						</div>
						
						
					</div>
					
				</div>
				<div class="tips-box hide">
					<div class="tips-arrow"></div>
					<ul class="tips-inner">
						<li>菜单</li>
						<li>标签</li>
						
						<li>友情链接</li>
						
						
					</ul>
				</div>
			</div>
		

		<div class="switch-area">
			<div class="switch-wrap">
				<section class="switch-part switch-part1">
					<nav class="header-menu">
						<ul>
						
							<li><a href="/blog/">Home</a></li>
				        
							<li><a href="/blog/archives">Archives</a></li>
				        
						</ul>
					</nav>
					<nav class="header-nav">
						<div class="social">
							
						</div>
					</nav>
				</section>
				
				
				<section class="switch-part switch-part2">
					<div class="widget tagcloud" id="js-tagcloud">
						
					</div>
				</section>
				
				
				
				<section class="switch-part switch-part3">
					<div id="js-friends">
					
			          <a target="_blank" class="main-nav-link switch-friends-link" href="https://github.com/smackgg/hexo-theme-smackdown">smackdown</a>
			        
			        </div>
				</section>
				

				
			</div>
		</div>
	</header>				
</div>
    </div>
    <div class="mid-col">
      <nav id="mobile-nav">
  	<div class="overlay">
  		<div class="slider-trigger"></div>
  		<h1 class="header-author js-mobile-header hide">Eetal</h1>
  	</div>
	<div class="intrude-less">
		<header id="header" class="inner">
			<div class="profilepic">
				<img lazy-src="/blog/images/head.jpg" class="js-avatar">
			</div>
			<hgroup>
			  <h1 class="header-author">Eetal</h1>
			</hgroup>
			
			<p class="header-subtitle">java coder</p>
			
			<nav class="header-menu">
				<ul>
				
					<li><a href="/blog/">Home</a></li>
		        
					<li><a href="/blog/archives">Archives</a></li>
		        
		        <div class="clearfix"></div>
				</ul>
			</nav>
			<nav class="header-nav">
				<div class="social">
					
				</div>
			</nav>
		</header>				
	</div>
</nav>
      <div class="body-wrap"><article id="post-zookeeper协调原理" class="article article-type-post" itemscope itemprop="blogPost">
  
    <div class="article-meta">
      <a href="/blog/2019/07/19/zookeeper协调原理/" class="article-date">
  	<time datetime="2019-07-19T10:54:22.951Z" itemprop="datePublished">2019-07-19</time>
</a>
    </div>
  
  <div class="article-inner">
    
      <input type="hidden" class="isFancy" />
    
    
      <header class="article-header">
        
  
    <h1 class="article-title" itemprop="name">
      zookeeper协调原理
      
    </h1>
  

      </header>
      
      <div class="article-info article-info-post">
        
        

        
        <div class="clearfix"></div>
      </div>
      
    
    <div class="article-entry" itemprop="articleBody">
      
        <p>欢迎查看Eetal的第二十四篇博客–zookeeper协调原理</p>
<h2 id="CAP原理"><a href="#CAP原理" class="headerlink" title="CAP原理"></a>CAP原理</h2><p>CAP原则又称CAP定理，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），三者不可兼得。<br>一致性表示分布式系统中各个节点数据的一致性<br>可用性代表数据访问的高性能<br>分区容错性指的是因为同步的时间问题，数据不一致导致出现了多个不同数据版本的分区现象，但系统仍能继续正常运行（容错）<br>很显然，三者最多只能取其二<br>分区容错性与一致性共存（同步需要阻塞）必会与可用性冲突<br>分区容错性与可用性共存（数据不同步）必会与一致性共存冲突<br>可用性与一致性共存必会与分区容错性冲突（实际上这个是不实际的需求，因为分布式环境下因为网络通信的延迟分区容错性是必要的）<br>综上，大部分分布式架构都是实现数据的最终一致性而非实现强一致性（因为分区容错性的必然存在）<br>zookeeper的zap协议就是对2pc进一步提高分区容错性与可用性而降低强一致性的一种协议，同时其保证最终一致性，所以在分布式环境下仍是可用的</p>
<h2 id="事务请求"><a href="#事务请求" class="headerlink" title="事务请求"></a>事务请求</h2><p>所有事务请求（增删改）都会转发到leader由leader处理<br>zookeeper内部是依赖一个改进版的2pc——ZAB协议</p>
<h2 id="传统2pc"><a href="#传统2pc" class="headerlink" title="传统2pc"></a>传统2pc</h2><p>传统2pc分为两个阶段preCommit和commit阶段<br>preCommit阶段由leader向所有节点发送事务请求，各自执行后向leader返回执行成功或者失败，但不进行commit操作（锁资源，将undo和redo信息写到事务日志）<br>commit阶段可由以下几种情况触发:<br>1.超时没有收到所有节点反馈<br>2.某个节点反馈失败<br>3.全部节点返回成功<br>到了commit阶段，1和2两种情况都会触发rollback，leader向参与本次事务的所有节点发送rollback命令，每个节点读取undo，执行事务回滚<br>第3种情况，leader向所有参与本次事务的节点发送commit命令，每个节点读取redo，执行事务提交<br>commit阶段以后，每个节点才会释放资源，切这个过程是同步的，且单点影响较大，单个节点故障会导致集群事务失败</p>
<h2 id="ZAB协议-事务广播"><a href="#ZAB协议-事务广播" class="headerlink" title="ZAB协议-事务广播"></a>ZAB协议-事务广播</h2><p>ZAB协议是一个中心化的分布式协调协议（非中心化的如redis的gossip——原理和网络协议的泛洪法类似）<br>ZAB协议对于事务请求，采取过半选举原则，对于分区容错性进行宽容但避免了单点问题，因为最终会进行数据同步，所以还是能保证分布式环境下数据的最终一致性<br>preCommit阶段，zookeeper的leader节点收到follower发送的事务请求，执行该事务不提交并封装为PROPOSAL消息（包含redo、undo等），向所有follower节点下发该PROPOSAL消息<br>follower节点收到PROPOSAL消息后，将对应的数据信息写到磁盘日志文件返回ack，如果写入失败则抛弃leader，重新加入集群（会等到事务结束才能成功）进入数据同步阶段<br>commit阶段，当超时时间到来前，leader节点收到参与投票的节点（follower节点+leader）超过半数以上的ack时，认为本次事务成功，向所有follower节点广播commit消息（只有zxid），并向observer发送INFORM消息（包含PROPOSAL消息），要求每个节点将PROPOSAL消息执行事务提交（写入内存）<br>如果超时没有收到半数以上的commit，认为本次事务失败，向所有follower节点广播rollback消息，因为提交事务了，执行了该操作的所有zookeeper服务器的zxid会+1<br>接下来，集群所有节点在与leader通信时，发现zxid比leader小的（重新加入集群那部分），leader就会发送命令进行数据同步</p>
<h2 id="ZAB协议-崩溃恢复"><a href="#ZAB协议-崩溃恢复" class="headerlink" title="ZAB协议-崩溃恢复"></a>ZAB协议-崩溃恢复</h2><p>zookeeper集群下，非leader节点出现崩溃只要不影响选举，因为重新启动以后连接集群都要与leader通信，比较zxid进行数据同步，较好解决<br>而leader节点如果崩溃，一般要面临重新选举，选举也是采用半数通过原则（每次选举都会将当前结点能收到消息的，收到最多投票的节点作为下一次选举对象，如果选举对象没有获得半数以上选票会重复这个过程）<br>leader选举后，就面临数据同步问题<br>集群内的有两种<br>1.旧leader收到的事务请求但还没有发出的<br>2.旧leader发出commit操作但是还没有收到全部反馈的<br>对于第一种情况，zookeeper采取的策略是直接丢弃，对执行了该事务未提交的机器进行rollback<br>实现原理基于zxid的设计，zxid是64位，高32位为epoch，低32位为PROPOSAL事务计数器<br>epoch为leader编号，每换一次leader会+1<br>对于第二种情况，zookeeper采取的策略是保证全部提交，这时如果有follower中保存有盖zxid的PROPOSAL事务而未提交，leader会发送commit命令</p>
<h3 id="更多精彩内容"><a href="#更多精彩内容" class="headerlink" title="更多精彩内容"></a>更多精彩内容</h3><h3 id="请移步"><a href="#请移步" class="headerlink" title="请移步"></a>请移步</h3><p>个人主页: <a href="http://yangyitao.top" target="_blank" rel="noopener">yangyitao.top</a></p>

      
    </div>
    
  </div>
  
    
<nav id="article-nav">
  
    <a href="/blog/2019/07/28/zookeeper源码分析-选举算法/" id="article-nav-newer" class="article-nav-link-wrap">
      <strong class="article-nav-caption">&lt;</strong>
      <div class="article-nav-title">
        
          zookeeper源码分析-选举算法
        
      </div>
    </a>
  
  
    <a href="/blog/2019/07/11/zookeeper集群搭建/" id="article-nav-older" class="article-nav-link-wrap">
      <div class="article-nav-title">zookeeper集群搭建</div>
      <strong class="article-nav-caption">&gt;</strong>
    </a>
  
</nav>

  
</article>


<div class="ds-share share" data-thread-key="zookeeper协调原理" data-title="zookeeper协调原理" data-url="http://eetal.gitee.io/blog/blog/2019/07/19/zookeeper协调原理/"  data-images="/blog/images/head.jpg" data-content="zookeeper协调原理">
    <div class="ds-share-inline">
      <ul  class="ds-share-icons-16">
      	<li data-toggle="ds-share-icons-more"><a class="ds-more" href="javascript:void(0);">分享到：</a></li>
        <li><a class="ds-weibo" href="javascript:void(0);" data-service="weibo">微博</a></li>
        <li><a class="ds-qzone" href="javascript:void(0);" data-service="qzone">QQ空间</a></li>
        <li><a class="ds-qqt" href="javascript:void(0);" data-service="qqt">腾讯微博</a></li>
        <li><a class="ds-wechat" href="javascript:void(0);" data-service="wechat">微信</a></li>
      </ul>
      <div class="ds-share-icons-more">
      </div>
    </div>
 </div>
 





</div>
      <footer id="footer">
  <div class="outer">
    <div id="footer-info">
      <div class="footer-left">
        &copy; 2019 Eetal
      </div>
        <div class="footer-right">
          <a href="http://hexo.io/" target="_blank">Hexo</a>  Theme <a href="https://github.com/smackgg/hexo-theme-smackdown" target="_blank">Smackdown</a>
        </div>
    </div>
  </div>
</footer>
    </div>
    
  <link rel="stylesheet" href="/blog/fancybox/jquery.fancybox.css">


<script>
	var yiliaConfig = {
		fancybox: true,
		mathjax: true,
		animate: true,
		isHome: false,
		isPost: true,
		isArchive: false,
		isTag: false,
		isCategory: false,
		open_in_new: false
	}
</script>
<script src="/blog/js/main.js"></script>



<script type="text/x-mathjax-config">
MathJax.Hub.Config({
    tex2jax: {
        inlineMath: [ ['$','$'], ["\\(","\\)"]  ],
        processEscapes: true,
        skipTags: ['script', 'noscript', 'style', 'textarea', 'pre', 'code']
    }
});

MathJax.Hub.Queue(function() {
    var all = MathJax.Hub.getAllJax(), i;
    for(i=0; i < all.length; i += 1) {
        all[i].SourceElement().parentNode.className += ' has-jax';                 
    }       
});
</script>

<script src="//cdn.bootcss.com/mathjax/2.7.0/MathJax.js"></script>


  </div>
</body>
</html>